Họ Nhữ mà khởi đầu từ Tiến sĩ Nhữ Văn Lan là một dòng họ có truyền thống khoa bảng trong lịch sử khoa cử Việt Nam dưới thời phong kiến. Tiến sĩ Thượng thư Nhữ Văn Lan được người đời ghi nhớ qua nhiều thế hệ bởi công ơn sinh thành và nuôi dạy con cháu thành tài. Ông có ba người con gồm hai con trai và một con gái. Người con trai đầu chưa kịp đặt tên đã mất. Người con trai thứ hai là Nhữ Huyền Minh sau làm Tri huyện Lục Ngạn rồi di cư về xã Lôi Dương, huyện Đường An, phủ Thượng Hồng sau đổi thành phủ Bình Giang, trấn Hải Dương. Đến đời thứ bảy là Nhữ Tiến Dụng chuyển về làng Hoạch Trạch, kể từ đó nhiều đời phát đường khoa bảng, trong đó có năm vị đại khoa (tiến sĩ). Người con gái duy nhất của Tiến sĩ Thượng thư Nhữ Văn Lan là bà Nhữ Thị Thục, kén chồng cho đến khi luống tuổi mới chịu lấy ông Nguyễn Văn Định là giám sinh ở huyện Vĩnh Lại (nay là huyện Vĩnh Bảo, thành phố Hải Phòng) kế bên (bên nội và bên ngoại nằm ở hai bờ con sông Hàn) rồi sinh hạ con trai lấy tên là Văn Đạt (tức Nguyễn Bỉnh Khiêm sau này).

Hầu hết các tài liệu nghiên cứu về cuộc đời và sự nghiệp của Trạng Trình Nguyễn Bỉnh Khiêm đều không quên nhắc đến ảnh hưởng lớn của họ ngoại mà điển hình là mẹ Nhữ Thị Thục và ông ngoại Nhữ Văn Lan trong việc nuôi dưỡng và giáo dục Nguyễn Văn Đạt (tên khai sinh của Nguyễn Bỉnh Khiêm) những năm thơ ấu. Trong gia phả của họ Nguyễn (hậu duệ người con thứ 7 của Trạng Trình) ở thôn An Tử Hạ còn ghi lại: "Phu nhân hồi An Tử Hạ, ỷ phụ thân giáo dưỡng Đạt nhi tam tuế" cho thấy ông ngoại Nhữ Văn Lan là người có công nuôi dạy Nguyễn Văn Đạt lúc còn nhỏ. Lúc sinh thời, Trạng Trình Nguyễn Bỉnh Khiêm đã cử người con trai thứ 7 (con trai út) là Nguyễn Ngọc Liễn dẫn người cháu đội bát hương sang sinh cơ lập nghiệp ở làng An Tử Hạ, xã Kiến Thiết quê ngoại để trông coi phần mộ và thờ phụng ông bà ngoại Nhữ Văn Lan cùng mẹ Nhữ Thị Thục.